成功的人工智能系统通常需要大量标记的数据来从文档图像中提取信息。在本文中，我们研究了改善人工智能系统在理解文档图像中的性能的问题，尤其是在培训数据受到限制的情况下。我们通过使用加强学习提出一种新颖的填充方法来解决问题。我们的方法将信息提取模型视为策略网络，并使用策略梯度培训来更新模型，以最大程度地提高补充传统跨凝结损失的综合奖励功能。我们使用标签和专家反馈在四个数据集上进行的实验表明，我们的填充机制始终提高最先进的信息提取器的性能，尤其是在小型培训数据制度中。
translated by 谷歌翻译
无数据知识蒸馏（DFKD）最近引起了人们的关注，这要归功于其在不使用培训数据的情况下将知识从教师网络转移到学生网络的吸引力。主要思想是使用发电机合成数据以培训学生。随着发电机的更新，合成数据的分布将发生变化。如果发电机和学生接受对手的训练，使学生忘记了先前一步获得的知识，则这种分配转换可能会很大。为了减轻这个问题，我们提出了一种简单而有效的方法，称为动量对抗蒸馏（MAD），该方法维持了发电机的指数移动平均值（EMA）副本，并使用发电机和EMA生成器的合成样品来培训学生。由于EMA发电机可以被视为发电机旧版本的合奏，并且与发电机相比，更新的更改通常会发生较小的变化，因此对其合成样本进行培训可以帮助学生回顾过去的知识，并防止学生适应太快的速度发电机的新更新。我们在六个基准数据集上进行的实验，包括ImageNet和Place365，表明MAD的性能优于竞争方法来处理大型分配转移问题。我们的方法还与现有的DFKD方法相比，甚至在某些情况下达到了最新的方法。
translated by 谷歌翻译
元学习是一种处理不平衡和嘈杂标签学习的有效方法，但它取决于验证集，其中包含随机选择，手动标记和平衡的分布式样品。该验证集的随机选择和手动标记和平衡不仅是元学习的最佳选择，而且随着类的数量，它的缩放范围也很差。因此，最近的元学习论文提出了临时启发式方法来自动构建和标记此验证集，但是这些启发式方法仍然是元学习的最佳选择。在本文中，我们分析了元学习算法，并提出了新的标准来表征验证集的实用性，基于：1）验证集的信息性； 2）集合的班级分配余额； 3）集合标签的正确性。此外，我们提出了一种新的不平衡的嘈杂标签元学习（INOLML）算法，该算法会自动构建通过上面的标准最大化其实用程序来构建验证。我们的方法比以前的元学习方法显示出显着改进，并在几个基准上设定了新的最新技术。
translated by 谷歌翻译
表示技术的快速发展和大规模医学成像数据的可用性必须在3D医学图像分析中快速增加机器学习的使用。特别是，深度卷积神经网络（D-CNN）是关键参与者，并被医学成像界采用，以协助临床医生和医学专家进行疾病诊断。然而，培训深层神经网络，例如在高分辨率3D体积的计算机断层扫描（CT）扫描中进行诊断任务的D-CNN带来了强大的计算挑战。这提出了开发基于深度学习的方法，这些方法在2D图像中具有强大的学习表示形式，而是3D扫描。在本文中，我们提出了一种新的策略，以根据沿轴的相邻切片的描述来训练CT扫描上的\ emph {slice level}分类器。特别是，每一个都是通过卷积神经网络（CNN）提取的。该方法适用于具有每片标签的CT数据集，例如RSNA颅内出血（ICH）数据集，该数据集旨在预测ICH的存在并将其分类为5个不同的子类型。我们在RSNA ICH挑战的最佳4 \％最佳解决方案中获得了单个模型，其中允许模型集成。实验还表明，所提出的方法显着优于CQ500上的基线模型。所提出的方法是一般的，可以应用于其他3D医学诊断任务，例如MRI成像。为了鼓励该领域的新进步，我们将在接受论文后制定我们的代码和预培训模型。
translated by 谷歌翻译
跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。
translated by 谷歌翻译
鉴于在各种条件和背景下捕获的图像的识别药物已经变得越来越重要。已经致力于利用基于深度学习的方法来解决文献中的药丸识别问题。但是，由于药丸的外观之间的相似性很高，因此经常发生错误识别，因此识别药丸是一个挑战。为此，在本文中，我们介绍了一种名为Pika的新颖方法，该方法利用外部知识来增强药丸识别精度。具体来说，我们解决了一种实用的情况（我们称之为上下文药丸识别），旨在在患者药丸摄入量的情况下识别药丸。首先，我们提出了一种新的方法，用于建模在存在外部数据源的情况下，在这种情况下，在存在外部处方的情况下，药丸之间的隐式关联。其次，我们提出了一个基于步行的图形嵌入模型，该模型从图形空间转换为矢量空间，并提取药丸的凝结关系。第三，提供了最终框架，该框架利用基于图像的视觉和基于图的关系特征来完成药丸识别任务。在此框架内，每种药丸的视觉表示形式都映射到图形嵌入空间，然后用来通过图表执行注意力，从而产生了有助于最终分类的语义丰富的上下文矢量。据我们所知，这是第一项使用外部处方数据来建立药物之间的关联并使用此帮助信息对其进行分类的研究。皮卡（Pika）的体系结构轻巧，并且具有将识别骨架纳入任何识别骨架的灵活性。实验结果表明，通过利用外部知识图，与基线相比，PIKA可以将识别精度从4.8％提高到34.1％。
translated by 谷歌翻译
在\ citet {gupta2009differential}中观察到，在差异隐私下，设置覆盖问题具有强烈的不可能结果。在我们的工作中，我们观察到，当我们转向部分设定盖问题时，这些硬度结果就会消失，因为我们只需要覆盖宇宙中元素的$ \ rho $分数，对于某些$ \ rho \ in（0） ，1）$。我们表明，这种放松使我们能够避免不可能的结果：在输入集系统上的松散条件下，我们提供了差异化的私有算法，该算法会输出具有非平衡近似保证的显式集盖。特别是，这是第一个差异私有算法，该算法会输出显式设置盖。使用我们的部分套件套件作为子例程，我们为设施位置问题提供了差异性（双晶型）近似算法，该算法将$ k $ cum-center/$ k $ -supplier与异常值进行概括。与设定盖问题一样，由于高灵敏度和不可能的结果，没有算法能够为$ k $ center/$ k $ - $ supplier-type设施问题提供非平整保证。我们的算法表明，放宽覆盖要求仅服务于人口的$ \ rho $分数，以$ \ rho \ in（0,1）$，使我们能够绕开固有的硬度。总体而言，我们的工作是解决和理解不可能结果的重要一步，以私人组合优化。
translated by 谷歌翻译
我们为策略梯度强化学习引入了一种约束的优化方法，该方法使用虚拟信任区域来调节每个策略更新。除了将一个单一旧政策作为正常信任区域的邻近性外，我们还建议通过另一个虚拟策略形成第二个信任区域，代表了过去的各种过去的政策。然后，我们执行新政策，以保持更靠近虚拟政策，如果旧政策的运作差，这将是有益的。更重要的是，我们提出了一种机制，可以自动从过去政策的记忆中自动构建虚拟策略，从而为在优化过程中动态学习适当的虚拟信任区域提供了新的能力。我们提出的方法是在不同的环境中进行检查，包括机器人运动控制，带有稀疏奖励和Atari游戏的导航，始终如一地证明了针对最近的上政策限制性策略梯度方法，在各种环境中进行了检查。
translated by 谷歌翻译
2022-02-24
特洛伊木马对深度神经网络的攻击既危险又秘密。在过去的几年中，特洛伊木马的攻击从仅使用单个输入 - 不知不线的触发器和仅针对一个类别使用多个输入特异性触发器和定位多个类的类别。但是，特洛伊木马的防御尚未赶上这一发展。大多数防御方法仍然使对特洛伊木马触发器和目标类别的假设不足，因此，现代特洛伊木马的攻击很容易被规避。为了解决这个问题，我们提出了两种新颖的“过滤”防御措施，称为变分输入过滤（VIF）和对抗输入过滤（AIF），它们分别利用有损数据压缩和对抗性学习，以有效地纯化潜在的Trojan触发器，而无需在运行时间内触发潜在的Trojan触发器。对触发器/目标类的数量或触发器的输入依赖性属性做出假设。此外，我们还引入了一种称为“过滤 - 对抗性”（FTC）的新防御机制，该机制有助于避免通过“过滤”引起的清洁数据的分类准确性下降，并将其与VIF/AIF结合起来，从种类。广泛的实验结果和消融研究表明，我们提议的防御能力在减轻五次高级特洛伊木马攻击方面显着优于众所周知的基线防御能力，包括最近的两次最新一次，同时对少量训练数据和大型触发器非常强大。
translated by 谷歌翻译
高级深度学习（DL）算法可以预测患者基于乳房成像报告和数据系统（BI-RAD）和密度标准的患者发育乳腺癌的风险。最近的研究表明，多视图分析的结合改善了整体乳房考试分类。在本文中，我们提出了一种新的多视图DL方法，用于乳房X线照片的Bi-RAD和密度评估。所提出的方法首先部署深度卷积网络，用于分别对每个视图进行特征提取。然后将提取的特征堆叠并馈入光梯度升压机（LightGBM）分类器中以预测Bi-RAD和密度分数。我们对内部乳房数据集和公共数据集数字数据库进行广泛的实验，用于筛选乳房X线摄影（DDSM）。实验结果表明，所提出的方法在两个基准数据集中突出了巨大的边距（内部数据集5％，DDSM数据集10％）优于两个基准分类方法。这些结果突出了组合多视图信息来改善乳腺癌风险预测性能的重要作用。
translated by 谷歌翻译